【기계 학습】Kullback-Leibler Divergence란?

두 가지 확률 분포를 비교하는 데 사용되는 "Kullback-Leibler Divergence (컬백 라이브러 정보량)"에 대해 공부했습니다. 한 클래스의 학생의 신장 데이터를 예로 든다. 아래 그림에서 청색 막대 그래프가 계측된 학생의 신장 분포, 오렌지 라인이 추측 모델을 각각 나타내고 있다고 합니다. 그렇다면 이 측정 데이터의 분포와 추측 모델에서 얼마나 어긋남이 있는 것일까요? 여기서...

MachineLearning기계 학습정보 이론